A Alibaba DAMO Academy, em parceria com a comunidade ModelScope, anunciou recentemente o lançamento de um novo conjunto de testes de referência multilíngue de código aberto, o P-MMEval, projetado para avaliar abrangentemente a capacidade multilíngue dos modelos de linguagem de grande porte (LLMs) e realizar uma análise comparativa de sua capacidade de transferência entre idiomas. Este conjunto de testes abrange conjuntos de dados eficientes de capacidades básicas e especializadas, garantindo a consistência da cobertura multilíngue em todos os conjuntos de dados selecionados e fornecendo amostras paralelas em várias línguas. Ele suporta até 10 idiomas de 8 famílias linguísticas diferentes, incluindo inglês, chinês e árabe.

Em 5 de dezembro, a equipe de modelos de linguagem grandes do ByteDance Doubao lançou o mais recente benchmark de avaliação de modelos de código grandes - FullStack Bench, abrangendo mais de 11 categorias de cenários reais, suportando 16 linguagens de programação e contendo 3374 problemas. Em comparação com os padrões de avaliação anteriores, este benchmark pode avaliar com mais precisão a capacidade de desenvolvimento de código de modelos grandes em uma gama mais ampla de campos de programação, promovendo a otimização de modelos em tarefas de programação do mundo real. Os benchmarks de código principais atuais, como HumanEval e MBPP, geralmente se concentram em fundamentos e níveis avançados

Em 4 de setembro de 2024, o Instituto de Inteligência Artificial de Pequim (BAAI) anunciou o lançamento do FlagEval, o primeiro serviço mundial de avaliação comparativa de modelos que inclui modelos de vídeo gerados por texto. Este serviço está aberto aos usuários, abrangendo cerca de 40 grandes modelos nacionais e internacionais, e suporta avaliação personalizada online ou offline em quatro tarefas principais: perguntas e respostas em linguagem natural, compreensão de imagens e textos multimodais, geração de imagens a partir de texto e geração de vídeos a partir de texto.

A 'Patronus AI lançou uma ferramenta de detecção de direitos autorais'; 'O GPT-4 da OpenAI foi apontado como o que apresenta os problemas mais graves de violação de direitos autorais'; 'Engenheiros da Microsoft apontam que ferramentas de geração de imagens de IA podem representar um perigo para a sociedade'

O Grupo Ant Financial, em conjunto com a Universidade de Pequim, lançou um benchmark de avaliação de modelos de linguagem grandes para a área de DevOps. O benchmark inclui questões de múltipla escolha em 8 categorias: planejamento, codificação, construção, teste e lançamento, entre outras. São 4850 questões no total. O benchmark também faz uma subdivisão para tarefas AIOps. Os resultados da avaliação mostram que as pontuações dos modelos são bastante próximas.

A quantidade de parâmetros não é o único critério para avaliar grandes modelos; diferentes conjuntos de avaliação levam a grandes diferenças na classificação; o aumento da proporção de questões subjetivas também afeta a classificação; a imparcialidade da avaliação é facilmente questionada; Organizações de avaliação de terceiros, como OpenCompass e FlagEval, estão começando a receber atenção; O meio acadêmico acredita que também devem ser considerados a robustez e a segurança do modelo, entre outras dimensões; Um método de avaliação verdadeiramente abrangente e eficaz ainda está em exploração.

A Arthur lançou o ArthurBench, uma ferramenta de código aberto para avaliar e comparar o desempenho de modelos de linguagem grandes. O ArthurBench ajuda as empresas a testar o desempenho de diferentes modelos de linguagem em casos de uso específicos, fornecendo métricas de comparação, como precisão, legibilidade e segurança. Empresas de serviços financeiros, fabricantes de veículos e plataformas de mídia já estão usando o ArthurBench para acelerar a análise e fornecer respostas mais precisas.